A Anthropic anunciou a expansão de seu programa de recompensas por vulnerabilidades, projetado para testar um "sistema de mitigação de segurança de IA de próxima geração", focando principalmente na identificação e defesa de "ataques de jailbreak universais". Há um foco especial em áreas de alto risco, incluindo defesa CBRN e segurança cibernética. Os participantes terão acesso antecipado ao novo sistema de segurança, buscando encontrar vulnerabilidades ou contornar as medidas de segurança, com recompensas de até US$ 15.000. Esta iniciativa visa melhorar a segurança dos sistemas de IA, estabelecendo um novo padrão para a proteção de segurança na indústria de IA, ao atrair pesquisadores de segurança para ajudar a identificar e corrigir ameaças potenciais.

O modelo Prompt-Guard-86M lançado pelo Meta visa defender contra ataques de injeção de prompt, protegendo a segurança do sistema ao restringir modelos de linguagem grandes de processarem entradas inadequadas. No entanto, o próprio modelo expôs riscos de ataque. Aman Priyanshu descobriu que, ao adicionar espaçamentos simples ou remover pontuação na entrada, o modelo ignora as instruções de segurança anteriores, obtendo uma taxa de sucesso de ataque próxima a 100%. Essa descoberta destaca a importância da segurança de IA, embora o Prompt

A OpenAI divulga as iniciativas da equipe do sistema de segurança. A equipe se dedica a garantir a segurança e confiabilidade de grandes modelos de IA. Isso inclui diversos grupos, como engenharia de segurança, pesquisa em segurança de modelos, pesquisa em raciocínio seguro e interação humano-máquina. O objetivo é resolver problemas de segurança de IA e garantir que o comportamento do modelo seja alinhado com os valores humanos. A pesquisa centrada na consistência do comportamento do modelo é o foco principal.